فهرست نگرانی‌ها درباره خودروهای خودران به‌تازگی طولانی‌تر شده است. علاوه‌بر نگران بودن درباره چگونگی ایمنی آن‌ها، چگونگی انجام تصمیم‌گیری اخلاقی پیچیده در جاده، چگونگی افزایش و بدتر شدن ترافیک توسط آن‌ها، حالا باید نگران نحوه آسیب رساندن به افراد مختلف نیز باشیم.

طبق مطالعه جدیدی از مؤسسه فناوری جورجیا، اگر شما شخصی با پوست تیره هستید، احتمال زیادی وجود دارد که خودروی خودران بیشتر از دوستان سفیدپوستتان با شما برخورد کند. به این دلیل که خودروهای خودران ممکن است در شناسایی عابران پیاده با رنگ پوست روشن بهتر عمل کنند، ولی نتوانند افراد سیاه‌پوست را به خوبی تشخیص دهند.

نویسندگان این مطالعه با یک سؤال ساده شروع کردند: دقت تشخیص مدل‌های پیشرفته تشخیص شیء مانند مواردی که خودروهای خودران استفاده می‌کنند، در گروه‌های جمعیتی چگونه است؟ برای فهمیدن این موضوع، آن‌ها مجموعه داده‌های بزرگی از تصاویر عابران پیاده را بررسی کردند. آن‌ها افراد را با استفاده از مقیاس فیتزپاتریک دسته‌بندی کردند، که سیستمی برای طبقه‌بندی رنگ بدن انسان‌ها از روشن تا تاریک به شمار می‌رود. محققان پس از آن درستی تشخیص حضور افراد در گروه‌های سفیدپوست را در مقایسه با افراد سیاه‌پوست مورد تجزیه و تحلیل قرار دادند. 

نتیجه این شد که قابلیت تشخیص برای افراد با پوست تیره به‌طور متوسط ۵ درصد کمتر از افراد سفیدپوست بود. این اختلاف حتی زمانی ادامه یافت که محققان برای متغیرهایی نظیر زمانی از روز که تصاویر گرفته شده یا زمانی‌که به‌صورت گاه‌گاهی مانعی جلوی چهره افراد قرار گرفته، کنترل می‌کردند.

جیمی مورگنسترن، یکی از پژوهشگران این مطالعه گفت:

اصلی‌ترین کار ما این است که سیستم‌های بینایی که ساختارهای مشترک داشتند و ما آن‌ها را آزمایش کردیم، باید به‌طور دقیق‌تر مورد بررسی قرار گیرند. پژوهش ما باید به‌صورت دقیق بررسی شود. در تحقیق ما مدل‌های تشخیص اشیا که در حقیقت توسط خودرو خودران استفاده می‌شوند و همچنین هیچ‌گونه مجموعه داده را که درواقع توسط سازندگان خودروهای خودران مورد استفاده قرار می‌گیرند، آزمایش نشده‌اند. در عوض تنها چند مدل خاص که توسط محققان دانشگاهی مورد آزمایش قرار می‌گیرند، بررسی شد. محققان باید این کار را انجام دهند، زیرا شرکت‌ها اطلاعات خود را به‌صورت دقیق بررسی نمی‌کنند و این مسئله با منافع عمومی ارتباط دارد.

کیت کرافورد، یکی از مدیران مؤسسه AI Now Research Institute گفت:

در دنیای ایده‌آل، محققان مدل‌های واقعی و مجموعه داده‌های مورد استفاده توسط سازندگان خودرو خودران را مورد آزمایش قرار می‌دهند. اما باتوجه‌به اینکه این‌ها هرگز در دسترس نیستند، مقاله‌ی انجام‌شده، بینش قوی درباره خطرات بسیار واقعی ارائه می‌دهد. 

الگوریتم‌ها می‌توانند سوگیری سازندگان را منعکس کنند

مطالعه اخیر شواهد زیادی درباره چگونگی سوگیری در سیستم‌های تصمیم‌گیری ماشین‌ها و خودکار ارائه می‌دهد، که سوگیری الگوریتمی نامیده می‌شود. معروف‌ترین نمونه در سال ۲۰۱۵ اتفاق افتاد؛ زمانی‌که سیستم تشخیص تصویرگوگل به آمریکایی‌های سیاه‌پوست برچسب «گوریل» داد. ۳ سال بعد سیستم Rekognition آمازون به‌دلیل تطبیق ۲۸ عضو کنگره آمریکا با مجرمین جنایی مورد انتقاد فراوان قرار گرفت. مطالعه دیگری نشان داد که سه سیستم تشخیص چهره (آی‌بی‌ام، مایکروسافت و Megvii چین) در تشخیص جنسیت افراد با پوست تیره (به‌خصوص زنان) نسبت به افراد سفیدپوست اشتباه می‌کنند.

سیستم‌های الگوریتمی طبق نمونه‌هایی که با آن تغذیه می‌شوند، یاد می‌گیرند؛ بنابراین اگر نمونه‌های کافی از زنان سیاه‌پوست در مرحله یادگیری در اختیارشان قرار نگیرد، زمان بیشتری را برای تشخیص چهره افراد صرف می‌کنند. 

به همین ترتیب نویسندگان مقاله اخیر درباره تعصب الگوریتمی خودروهای خودران چند عامل را برای ایجاد چنین اختلافی مطرح می‌کنند. اول اینکه مدل‌های تشخیص شیء بیشتر طبق نمونه‌هایی با عابران پیاده سفیدپوست آموزش دیده‌اند. دوم اینکه تأکید لازم بر همان نمونه‌های کم افراد سیاه‌پوست هم در نظر گرفته نشده است. محققان دریافتند که قرار دادن نمونه‌های بیشتر سیاه‌پوست در داده‌ها می‌تواند به اصلاح سوگیری الگوریتم کمک کند.

درباره مسئله گسترده‌تر سوگیری الگوریتمی، دو راه‌حل پیشنهادی وجود دارد. اول اینکه تیم‌های توسعه‌دهنده فناوری‌های جدید، از نظر نژادی متنوع باشند. اگر تمام اعضای تیم سفیدپوست، مرد یا هر دو (هم مرد و هم سفیدپوست) باشند، ممکن است نتوانند به خوبی بررسی کنند که چگونه الگوریتم تصویر یک زن سیاه‌پوست رامدیریت می‌کند. اما اگر یک زن سیاه‌پوست در تیم وجود داشته باشد، احتمالاً او به این مسئله توجه خواهد کرد؛ همان‌طور که جوی بولاموینی Joy Buolamwini در دانشگاه MIT نمونه‌ای از آن است.

راه‌حل دیگر این است که آزمایش الگوریتم‌های شرکت‌ها قبل از راه‌اندازی نهایی به‌صورت قانونی و اجباری انجام شود؛ در نتیجه اگر الگوریتم‌ها نتوانند استانداردهای لازم در زمینه تعصب نژادی را پاس کنند، مجوزی به آن‌ها داده نشود. 

کارتیک هوسنیگر، نویسنده کتاب A Human's Guide to Machine Intelligence در مورد مقاله‌ی مورد نظر گفت:

داستان‌های زیادی شبیه این وجود دارد و باید به‌دنبال راه‌حل‌های خوب در آینده بود. من فکر می‌کنم آزمایش دقیق برای سنجش سوگیری الگوریتم‌های خودران بسیار مفید است. باید هر تیم به اندازه کافی تنوع نژادی داشته باشد و این تنوع شامل مواردی از جمله نژاد، جنسیت و ملیت می‌شود. موارد کلیدی خاصی هم وجود دارد که شرکت‌های بزرگ باید انجام دهند و من فکر می‌کنم که این کار موثرتر باشد. 

اصلاحاتی از این دست به‌طور متقابل منحصربه‌فرد نیستند. مسلماً در شرایط کنونی شرکت‌های سازنده فناوری خودرو خودران باید کارهایی برای ریشه‌کن کردن تعصب نژادی انجام دهند؛ قبل از اینکه افراد رنگین‌پوست مجبور شوند برای مبارزه با آن وارد عمل شوند.